iT邦幫忙

2023 iThome 鐵人賽

DAY 27
0
Web 3

我們的基因體時代-Web3 X 去中心化科學DeSci-探索基建系列 第 27

Web3 X 去中心化科學DeSci-Gensyn及去中心機器學習協議評估原則GHOSTLY

  • 分享至 

  • xImage
  •  

前一篇Web3 X 去中心化科學DeSci-AI、社群和Web3開始帶入去探索一些AI與Web3交互的領域,同時把去年的連結放進來,可以發現一年時間其實有頗多變化,相對於實際可以用的東西越來越多了。

我們先從在Messari裡面談到去中心計算提到的項目來看起,第一個我們先來看一下Gensyn,這項目是去年在做相關研究的時候沒有看過的,那這邊來進一步研究一下。

Gensyn:大規模高效機器學習訓練網絡

https://ithelp.ithome.com.tw/upload/images/20231010/20103989UfUJf1UUc2.png

Gensyn這項目是由Ben Fielding和Harry Grieve所創辦的,於2021年1月獲得天使投資(pre-seed),於2022年3月獲得種子輪投資開始啟動,目前已經到A輪,並且取得如a16z的投資,他們主要想要解決的是隨者
最先進的人工智慧(AI)系統計算複雜度每三個月翻倍,遠超當前計算供應,而如何讓計算效能可以自由化,就必須有新的服務模式出現。

舉目前知名的OpenAI其開發模型所耗用的資源為例,OpenAI在2020研究中提出了最大的GPT-3模型——GPT-3 175B,該模型使用了1000個NVIDIA Tesla V100 GPU集群進行訓練,這相當於在單一設備上訓練355年。而其於2021發表的DALL-E則是另一個重要得Transformer模型,具有120億參數,並在超過4億帶有標題的圖像上進行訓練,建立這些基礎模型的巨大資源需求,很明顯是一個大的門檻,光看近日中研院開源模型引發的討論就知道,除了訓練本身是耗費龐大資源,資料及的整理也是,如果沒有一種方法在整合資源的同時仍能創造價值,這將可能導致AI發展停滯。

我可以看一下Gensyn在他們官網部落格中整理的計算費用:

https://ithelp.ithome.com.tw/upload/images/20231010/20103989ioX9rCCS8w.png

裡面有列出比如使用以太坊作為機器學習的訓練,訓練一小時,所需的費用要接近2萬美元(大家常把以太坊譬喻為大型計算機,但實際上不能有性價比的做複雜計算),裡面也有寫到在google雲上或是亞馬遜,則便宜許多,但實際上還是會有一些相關限制存在。

Gensyn核心協議設計

基本Genesyn要解決和設計的是複雜巨量計算分包後的驗證機制,畢竟這邊所想要專注的是困難複雜的巨型模型訓練,這樣的訓練本身就要耗費大量資源,驗證本身就會是一個難題,如何確保提供計算的工作者有真的完成計算,這可能要解決“複製”的問題,相對於過去資料本身,這邊可能又更為複雜,所以Gensyn協議主要利用下面三大關鍵來處理,不過很令人感到興趣的是,他們所參考的研究基本上都是近三年的,代表這領域關於如何結合區塊鏈和運算,是一個學術跟產業基本上很連結的,甚至是產業推動學術向前:

概率性學習證明 Probabilistic proof-of-learning

使用基於梯度的優化過程的元數據來構建已執行工作的證書,可以通過複製某些階段快速驗證。

基於圖的精確協議 Graph-based pinpoint protocol

使用多粒度的基於圖的精確協議和跨評估者一致執行,允許驗證工作被重新運行和比較一致性,並最終由鏈本身確認。

Truebit風格的激勵遊戲 Truebit-style incentive game

使用staking和slashing來構建一個激勵遊戲,確保每個金融理性的參與者誠實地行事並執行他們打算的任務。

目前Gensyn的產品也算是在初期階段,基本上還沒有開放,算是要申請才能進入他們目前的服務。
https://ithelp.ithome.com.tw/upload/images/20231010/20103989qvnmzeUEVe.png

在Gensyn的文章中有提到一個蠻有趣的概念,便是一個好的計算去中心化協議或是分散式機器學習,需要具備什麼特性,這樣的條件稱作GHOSTLY,分別代表:

泛用性Generalisability

在此網絡中所提出的計算和資料架構是否可以很有彈性,或是具有泛用性,不會限制過多的資料輸入模式或是建模方式。

計算架構異質性的相容Heterogeneity (over supply)

能讓更多計算節點能參與,而非獨厚本身計算能力強大的節點。

成本Overheads (low)

本身使用其要具有成本優勢,不然就直接使用過去的雲端服務就好,沒有必要特別搞一個鏈的機制,又特別的貴重。

可規模性Scalability

要是協議本身需要很特定的硬體或是其他方式加入,那麼這樣的協議就不可能具有足夠規模化的能力。

可靠性Trustlessness

如何確保在此網絡中提供的計算都是可被驗證的,而非偽造的

低延遲性Latency

在使用模型做預測時候,是對於延遲是高敏感的,很多模型本身是很巨大的,且不可分割,這塊也是整個設計必須要考慮的部分。

我們後續便可以利用這樣的條件來看看其他類似的去中心化機器學習項目是否有符合這些特性。

閱讀參考:
【Web3 元觀察】AI 與 Web3 的結合,帶來何種可能性?

【Web3 元觀察】生成式 AI 對於 Web 3.0 的利多

AI加上Web3,必定成為牛市熱點?先鎖定具體趨勢和機會

Web3加上AI,能解決人類複雜的全球性問題

KryptoGO高峰對談:展望AI與Web3未來發展,為何說台灣獨佔優勢?

AI 和 Web3 是什麼關係?大概是孫悟空與唐三藏吧(什麼?) - 區塊D世界

解讀Gensyn區塊鏈AI計算協議:a16z領投,超5000萬美元鉅額融資

Investing in Gensyn

The Machine Learning Compute Protocol and our future


我們的基因體時代是我經營的部落格,如有對於合成生物學、生物資訊、檢驗醫學、資料視覺化、R語言有興趣的話,可以來交流交流!也可以追蹤我的工作IG,但就是偏向醫療為主,假如對去中心化科學有興趣,則可以進入到g0v的da0頻道中多多交流。


上一篇
Web3 X 去中心化科學DeSci-AI、社群和Web3
下一篇
Web3 X 去中心化科學DeSci-AI計算與web3體系(III)-Together AI和CUDOS
系列文
我們的基因體時代-Web3 X 去中心化科學DeSci-探索基建30
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言